Impact of Less Skewed Distributions on Efficiency and Effectiveness of Biomedical Relation Extraction

Like in other NLP tasks, it has been claimed that advances of machine learning (ML) based approaches to relation extraction (RE) are hampered by the imbalanced distribution of positive and negative instances in the annotated training data. Usually, the number of negative instances is much larger than that of the positive ones and such skewness also exists in the test data. In this paper, we aim at addressing the problem of imbalanced distribution by automatically curbing less informative negative instances. We propose some criteria for identifying such instances and incorporate them in an existing state-of-the-art RE approach. Empirical results on 5 benchmark biomedical corpora show that our proposed approach improves both recall and F1 scores. At the same time, there is a large drop in the number of negative instances and in execution runtime as well. Title and Abstract in Italian L’Impatto di Distribuzioni Meno Squilibrate sull’Efficienza e l’Efficacia dell’Estrazione di Relazioni Biomediche Come per altri compiti di Trattamento Automatico del Linguaggio, si è sostenuto che i progressi degli approcci all’estrazione di relazioni basati su apprendimento automatico sono ostacolati dalla distribuzione squilibrata dei casi positivi e negativi nei dati di addestramento annotati. Generalmente, il numero di istanze negative è molto più grande del numero di quelli positivi e tale squilibrio esiste anche nei dati di test. In questo articolo, ci si propone di affrontare il problema della distribuzione squilibrata eliminando automaticamente le istanze negative meno informative. Proponiamo alcuni criteri per individuare tali casi e inserirli in un approccio all’estrazione di relazioni con prestazioni allo stato dell’arte. I risultati empirici su 5 corpora biomedici di riferimento mostrano che l’approccio proposto migliora sia la recall sia il punteggio di F1. Allo stesso tempo, c’è una diminuzione nel numero di istanze negative e anche nel tempo di esecuzione.